MotiMotion: Motion-Controlled Video Generation with Visual Reasoning
MotiMotion：基于视觉推理的运动控制视频生成
🧭 视觉推理驱动的运动控制视频生成
University of California, Merced · Adobe Research
将运动控制重新定义为推理-生成问题，利用免训练VLM预测因果连带的二次运动并引入置信度感知控制来提升自然性。
📌 工作参考价值（4 点）
- 对商品视频生成：可借鉴利用预训练VLM对稀疏的产品交互指令（如“开箱”“倾倒液体”）进行推理，自动补全液体飞溅、包装形变等二次运动，生成更符合物理常识的营销视频，减少逐帧精细轨迹的人工设计。
- Agent规划中的置信度调控：将置信度感知的控制策略迁移到多智能体协作中，当规划子任务置信度低时由模型先验知识自主修正，在高置信步骤严格遵循指令，提升整体鲁棒性和任务成功率。
- 免训练推理器的快速集成：该方法不微调VLM，可快速适配电商多模态场景（如智能客服对复杂请求的意图推理）而不引入模型漂移，且推理成本低。
- 构建交互基准的评测思维：在推荐系统中可借鉴构建聚焦因果合理性的评测集（如推荐理由是否含因果矛盾），配合VLM自动化评估，减少人工评估成本。